Europaisches Patentamt 
European Patent Office 
Office europeen des brevets 



© VerQffentlichungsnummer: 



0 283 715 

A2 



® EUROPAISCHE PATENTANMELDUNG 



© Anmeldenummer: 88102345,1 © Int. CI.*: H04N 1/41 

@ Anmeldetag: 18.02.88 



© Priorltat: 23.03,87 DE 3709094 


0 Anmelder: ANT Nachrlchtentechnik GmbH 




Qerberstrasse 33 


@ Veroffentiicliungstag der Anmeldung: 


D«7150 Backndng(DE) 


28.09.88 Patentbiatt 88/39 






@ Erfinder: Lohscheller, Herbert, Dr. Ing. 


® Bsnannte Vertragsstaaten: 


Mairichweg 8 


DE FR rr NL 


D-7152 Aspach<OE) 




Erfinder: Franke, Uwe, Dipl.-lng. 




Weberstrasse 13 




D-5100 Aachen<OE) 



® Verfahren zur Codierung von Blldsignalen. 



@ Zur Codierung von Bildsignalen, insbesondere fur die Farbeinzelbildubertragung, warden Spektralkoeffizie- 
nten n"**t*ls einer OCT gebildet. Eine Wahmehmbarkeits-Schwellwertentscheklung angewendet auf Blocke 
dieser Sfjektralkoeffizienten wird in ihrer Empfindlichkeit in Abhangigkeit des Auftretens von Kantenstrukturen im 
Biidinhalt gesteuert. Eine Quantisierung und eine Entropiecodierung schliefit sich an die Schwellwertent- 
scheidung an. Zur Datenreduktion werden den Spektralkoeffizienten blockweise Klassen zugeordnet. Zur 
Identiiizierung der Spektralkoeffizienten zu solchen Klassen genQgt die Ubertragung einer Kiasseninfomnation. 
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Verfahren zur Codierung von Biidsignalen 



Die Erfindung betrifft ein Verfahren gemafl dam Oberbegriff des Patentanspruchs 1. Ein solches 
Verfahren 1st bekannt aus "Digital Image Processing. William K. Pratt. Wiley - Interscience Publication. New 

5 Yorlc'Chichester/Brisbana'Toronto. Seiten 471-499". Dort werden verschiedene Verfahren zur Erkennung von 

Kantenstrukturen in Biidsignalen vorgesteUt, die einer diskretan Transformation unterzogen wurden. Aus ^ 
"IEEE Transactions on Communications, Vol.Com-32, No. 3, March 1984. Seiten 225-232" ist es bekannt 
Biidsignale einer Diskreten Cosinus Transformation zu unterziehen. Urn eine niedrlge Codierrate zu erhalten, 
werden die Transformation skoeffizienten in dem Sinne adaptiv quantisiert, da5 Blocken von Koeffizienten. 

70 die groiSe Energieantelle enthalten, mehr Quantisienjngsschwellen und Codierbits zugeordnet werden als 
Blocken mit geringen Energieanteilen. 

Aus "Orthogonal Transforms for Digital Signal Processing, N. Ahmed, K.R. Rao. Springer Verlag, 
Berlin/Heidelberg; New York. Seiten 225-253". Ist es bekannt. Biidsignale zur Datenreduktion zu klassifizie- 
ren. 

?5 Aufgabe der Erfindung ist es, das Verfahren ausgehend vom Oberbegriff des Patentanspruchs 1 so 
auszugestalten, da/J eine Einzeibildubertragung, insbesondere eine Farbeinzelbtldubertragung uber einen 
Ubertragungskanal mit begrenzter Kapazitat ohne Qualitatseinbuflen moglich ist. Diese Aufgabe wird durch 
die Maflnahmen des Patentanspruchs 1 gelost. 

Anspruch 2 zeigt eine vorteilhafte Weiterbildung auf. die die Obertragungsrate erheblich reduziert. Dies 

20 ist dadurch moglich, da/3 fur jeden Block eines Bildes ein Satz von Spektral koeffizienten, der zu einer 
Klasse gehort, ausgewahit wird und fur diese Auswahl nur eine Klassenzugehorigkeitsinformation 
ubertragen werden mufi. 

Das Verfahren gema/5 der Erfindung hat insbesondere den Vorteil, daiS sich das ubertragene Bnzelbild 
auf der Empfangerseite sehr schneil aufbaut (ca. 2 sec bei einer Obertragungsrate von 64 kbits/s). Die 
25 Datenkompression beim Verfahren nach der Erfindung ist so stark, dai3 die durchschnittliche Bitrate, die zur 
Codierung der Farbbilder notig \sl weniger als 0,7 bit per pel (picture element) betragt. 

Anhand der Zeichnungen wird ein Ausfuhrungsbeispiel der Erfindung nun naher eriautert. Es zeigen 
Fig, 1 die Verfahrensschritte der Erfindung in einem Ablaufdiagramm, 
Fig. 2a,b,c Tabellen der Wahrnehmbarkeitsschwellwerte fOr die einzelnen Bildkomponenten. 
30 Fig. 3 das Blockschaltbild eines Pradiktors. 

Fig. 4 die Anordnung der Referenzwerte fur die DC-Pradiktion, 
Fig. 5 die Pradiktionskoeffizienten fur den DC-Anteil. 
Fig. 6 einen Ubersichtsplan der Kantenerkennung, 
Fig. 7 die Edgepoint Entscheidung, 
35 Fig. 8 den Funktionsablauf der Klassifikation, 

Fig- 9 eine Wahrheltstabelle zur Klassenselektlon bezuglich der 1-Komponente, * 
Fig. 10 eine Wahrheitstabelle zur Klassenselektlon bezuglich der Q-Komponente, 
Fig. 11 aus Klassen abgeleifete Terme der Luminanzkomponente y, 

Rg. 12 die Bildung der Kardinalzahlen tk^, * 
40 Fig. 13 aus Termen gebildete Klasseninformationen cny, 

Fig. 14 den Ablauf der Blockquantisierung, 
Fig. 15 den Ablauf der Transmission Coding, 
Fig. 16 die Entropiecodierung fur die Luminanzkomponente y, 
Rg, 17 die Entropiecodierung fUr die Chromakomponente I, 
4S Fig. 18 die Entropiecodierung fur die Chromakomponente Q, 

Fig. 19 die Entropiecodierung fur AC-Koeffizienten, 
Rg. 20 die Codierung der DC Koeffizienten. 
Das Ablaufdiagramm gemafl Fig. 1 zeigt die einzelnen Verfahrensschritte der Erfindung. Das zur 
Verfugung stehende Bildsignal wird zuerst in Blocke zerlegt {Block Decomposition). Die bei der Blockbil- 
50 dung erzeugten Teilbildbereiche werden zweckmaj3igerweise gleich groiS und quadratisch gewahit Die 
Teilbiidbereiche konnen durch die Bildeiementwerte xg vollstandig beschrieben werden, wobei i und j 
Indexvarfabien sind, die von 1 bis N laufen. Die Bildelemente iassen sich durch die Blockfunktion BC (cc, 
bn, N) darstellen, wobei cc die Luminanzkomponente Y Oder die Farbkomponenten I und Q, bn die 
Blocknummer und N die GroSe des Blocks Nx N mit N betspielsweise 8 angibt. Die in Blocke zerlegten 
Teilbildbereiche werden nun einer Diskreten Cosinus Transformation DCT(0!Screte Cosine Transform) 

2 
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unterzogen. Es entstehen dadurch Spektraikoeffizienten Wkj mlt k und I als Indexvariablen. die von 1 bis N 
laufen. Parallel zur DCT wird eine Kantenerkennung ED (Edge detection) vorgenomnnen, die zu Kantenbtoc- 
kinformatlonen 
eb = ED (Xij) 
5 fuhrt. 

Die DCT Transformation ist hinreichend bekannt, beispielsweise aus IEEE Transactions on Communica- 
tions. Voi. COM-32. No. 3, Marcli 1984, Seiten 225 bis 232. so daiS an dieser Stelle nicht nSlier dsrauf 
eingegangen wird. 

Aus den Speichern einer solchen DCT Transformationseinheit werden Gleich-und Wechselanteile getrennt 

10 ausgelesen. d.h. die Spektraikoeffizienten stehen blockweise aufgespalten zur Weiterverarbeitung zur 
Verfugung. Gleichanteile, nachfolgend mit DC bezeichnet, bedeuten in diesem Zusammenhang jeweils 
mittlere Helligkeitswerte bezuglich der Luminanzkomponente und mittlere Farbsattigungswerte bezuglich 
der Chfomakomponenten fur jeden Block von Spektraikoeffizienten. Wecliselanteile. nachfolgend mit AC 
bezeichnet, bilden die jeweiligen ortlichen Abweichungen von diesen mittleren Werten innerhalb eines 

15 Blockes fur jeden Spektraikoeffizienten, 

Bezuglich der AC-Anteile erfolgt nun ein Vergleich der Spektraikoeffizienten mit visuellen 
Wahrnehmbarkeitsschwellen, die gemaiJ der Empfindlichkeit des menschlichen Auges gewahit sind, mittels 
einer Wahrnehmbarkeitsschwellwertentscheidung (Spectral Thresholding), die sich durch die Beziehung 
Ssthk.1 = TR(thk.i. Wic.i. cc. eb) 

20 beschreiben la/Jt. 

sthkj (supra-threshold information) 
wird als BInSirwort mit N x N bits als Ausgangssignal abgegeben. Die Wahmehmbarkeitsschwellwertent- 
scheidung wird von der Kantenerkennung ED in dem Sinne gesteuert, daj3 eine Schwellwertreduzierung 
erfolgt, wenn Kantenstrukturen festgestellt wurden. Die vorgegebenen WahrnehmbarkeitsschweHwerte th^,i 

25 sind fur Luminanz-und Chrominanzkomponenten Y, 1, Q jeweils verschieden. Fur die Luminanzkomponente 
mu/3 die Auflosung der Schwellwerte im Gegensatz zu den Chromakomponenten relativ hoch sein. 

Die Figuren 2a, b und c zeigen die Wahrnehmbarkeitsschwellwerte thjcj fur die Y, I. Q-Komponenten 
eines 8x8 Blockes. Die gekreuzten Stelien bei den Chromakomponenten brauchen nicht berGcksichtigt 
werden, da das menschllche Auge fiir Farbsignale nicht so empfindlich Ist. 

3r Fiir die DC-Anteile ist eine solche Schwellwertentscheidung im ailgemeinen nicht erforderlich. kann jedoch 
nach Bedarf vorgenommen werden, insbesondere mit fest vorgegebenen Schwellwerten. Die DC-Anteile 
werden im Ausfuhrungsbeisplel blockweise linear quantislert - QDC - und anschllejSend ©inem PrSdiktor 
zugefuhrt. Das Blockschaitbild fur einen solchen Pradiktor ist in Fig. 3 dargestellt. Ein Pradiktionswert S' 
wird erhalten durch eine gewichtete Summierung von 3 benachbarten DC-Koeffizienten, die zuvor fur die 

35 Obertragung benutzt wurden. Rg. 4 zeigt schematisch die Anordnung der Referenzwerte A,. At und A, fOr 
eine zweidlmensionale Pradiktfon der DC-Koeffizienten. Die gekreuzte Stelle entspricht dem 
Pradiktionswert. Die Pradiktionskoeffizienten fur At, As und A3 bezuglich der Signalkomponenten Y, I, Q 
zeigt Fig. 5. Eine lnteger{Ganzzahl-)Rundung NINT zur Redundanzreduktion fuhrt nur zu ganzzahligen 
PrSdiktionsfehlern fiir die Obertragung. Am Ausgang des PrSdiktors ist eine Sufatrahlerstufe angeordnet die 

40 vom Eingangswert S fQr die PrSdiktion das Ausgangssignal der Rundung subtrahlert. 

Fur den AC-Anteil wird das Ausgangssignai der Wahrnehmbarkeitsschwellwertentscheidung einer Klas- 
sifikation (Classification) unterzogen. Diese Klassifikation ISiSt sich durch den Ausdruck 
cncc = CL (sthk,[, cc) 

beschreiben. Sie ist also von der Supra-threshold-lnformation und der Signalkomponente cc abhangig. 
45 cncc bedeutet die Klassennummer einer Signalkomponente. Durch die Klassifikation wird die Zugehdhgkeit 
der Spektraikoeffizienten eines Blockes zu vorher festgelegten Kiassen beschrieben. Eine ausfOhrliche 
Behandiung der Klassifikation erfolgt noch an anderer Stelle. 

Nach der Klassifikation wird fur die AC-Anteile eine Block-Quantisierung BQ (Block Quantisition) 
vorgenommen, die zu foigender Beziehung fOhrt: 
50 Vkj = BQ (Wk.i, thk.1, eb) 

Vk.! Stelien quantisierte Spektraikoeffizienten dar. Diese Blockquantisienjng kann gegebenenfalis auch fUr 
den DC-Anteil vorgenommen werden, wie noch eriautert wird. 

Obertragungsdaten werden bezuglich des DC-Anteils durch Codieren der quantisierten PrMdiktionsfehler 
COD-QF aufbereitet und bezuglich der AC-Anteiie durch Codieren der blockquantisierten Spektralkoeffizie- 
65 nten Vkj -Transmission Coding. Die Transmission Coding laflt sich durch die Beziehung 
h = TC (Vk.,, cncc, cc) 

beschreiben. Sie erfolgt im Sinne einer Entropiecodierung. Durch die Klassifikation werden Zu- 
satzubertragungsdaten gewonnen, die die Zugehtirigkeit der Spektraikoeffizienten eines Blockes zu vorher 
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festgelegten Klassen kennzeichnen. Durch Ubertragen dieser Zusatzdaten konnen die Ubertragungsdaten 
anhand der Klassenzugehorigkeit ausgedunnt werden; denn fur jene Spektralkoeffizienten. die zu einer 
Klasse gehoren. reicht es aus. nur eine Klassenzugehorigkeitsinformatlon zu ubertragen. 

Der in Fig. 1 vorgestellte Ubersichtsablauf wird nun nafier eriautert. Die DCT laj3t sich durch folgende 
Bezieliung ausdrucken: 
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Die Kantenerkennung ist in der DE Patentanmeldung P 35 42 484.2 ausfGhrlich beschrieben, soil hier 

aber nochmals in allgemeiner Form eriautert werden. Den Ubersichtsplan der Kantenerkennung (Edge 
Detector) zeigt Fig. 6. Zuerst wird ein Operatorfenster definiert (Operator window Definition), 

an,m = OW (X|.j) . 

wobei 

m = 1 . 2, 3 
n = 1. 2, 3 
i1 = l-2 + n 
j1 = j-2 + m ist, 

was einer 3x3 Matrix fur Spektralkoeffizienten entspriclit. Dieses Operatorfenster wird auf eine "Edgepoint 
detection" EP abgebildet, derartda/3 "Edge-point"-Koeffizienten epijentstehen. 
Die Edgepointdetection laflt sich beschreiben zu: 
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Anschlieflend erfolgt eine "Edgepoint"-Entscheidung EPD 
55 epi,i - EPD (S,„.n) 

Diese Entscheidung ist in Rg. 7 dargestellt. Zu jedem epi.j gehort eine Matrix Sm,n (Darsteliung ohne 
S2,2), aus deren Elementen -1 und 1 sich Kantenorientierungen in Vielfachen von tt/B vereinbaren lassen. 
Der zugehorige Orientierungswinkel der Kanten (angle of edge) ist in Fig. 7 ebenfalls dargestellt. 
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Im Ablauf wird nun untersucht, ob al!e Edge points abgearbeitet sind, 1st dies nicht der Fall, wird mit den 
weiteren Variablen i.j = 2.... 7 die Entscheidung nochmals vorgenommen, 
Nach der Abarbeltung aller Edgepotnts erfolgt eine "Edgebiockdetection" 
eb = EB (epj.j), 
5 die durch folgende Vereinbarungen zu erfolgen hat: 
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Die Schweilwertentscheidung erfolgt nach foigenden Beziehungen: 
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th^jCO , cc) = th|^^j{ 1 , cc ) * 2 

Die Wahrnehmbarkeitsschweliwerte 
thk.1 (eb, cc) 

wurden schon in den Figuren 2 a.b,c vorgestellt. 

Die Kiassifikation ist In der DE P 37 08 288.4 ausfOhrlich beschrieben. Es sdl jedoch hier In allgemeiner 
Form darauf eingegangen werden. 

Den Funktlonsablauf der Kiassifikation zeigt Rg. 8. Zuerst wird in einer Entscheiderstufe auf Chromakompo- 
nenten l,Q und Luminanzkonr^ponenten Y hin untersucht FCir die Chromakomponenten I,Q wird eine 
Klassenselektion durchgefuhrt anhand der Supra-Threshold-lnformation sthn.i: 
cncc = CS (sth}<.i) 

Als Klasse cncc als Kiassifikation fur die Chromakomponenten wird jene ausgewahit, die alle Schweil- 
wertvariablen sthicjuberdeckt. Diese Klassenselektion ist durch die Wahrheitstabellen gemafi den Rguren 9 
und 10 beschreibbar. Rg. 9 zeigt die Klassenselektion cni fUr die i-Komponente in AbhSngigkeit der Supra- 
Threshold-lnformationen sth^j und Fig. 10 die entsprechende Klassenselektion cnQ fUr die OKomponente. 
Fur die Luminanzwerte Y erfolgt die Kiassifikation in einem dreistufigen Prozefi: 
- einer Preprocessing Operation 

'Sthkj = PO (sthk.,). 
die durch folgende Beziehungen beschreibbar ist: 
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Tthic.i bedeutet eine modifizierte Super-Threshold-lnformation, 
- einer Termentscheidung 

td = TE (sthkj) 
mit 



46 



so 



''O . ZZ sThqp < NINT(tk^/2) 



•1 . Z Z sThq p > NINT (tkd/2) 



55 



td wird als Termvariable bezeichnet, wobei d eine Indexvariable Ist, die von 1 bis ta = 18 lauft.9 ist ein 
Zeilenindex fUr sth und p ist ein entsprechender Spaitenindex. Fig. 11 zeigt die aus den Klassen 
abgeleiteten 18 Terms der Luminanzkomponente, wobel die Variablen sthq^ horizontal und die Termnum- 
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mem td vertikal aufgetragen sind. Die AbhSngigkeit der Kardlnalzahl \^ von den Termen td bei der Ent- 

scheidung zeigt Rg. 12, 
- einer "Class Approximation" 
cny = AP (td) 

5 Diese "Class Approximation" selektiert die niedrigste Klassenselektionsnummer cny, die alle Terme 
enthalt, gemaiS Fig. 13. 

Wie Fig. 13 zeigt. sind 16 Klassen aus 18 Termen fur die Luminanzkomponente gebildet. 

Der Ablauf der Blockquantisierung ist in Fig. 14 dargestellt. Zuerst wird festgestellt, ob ein Edgeblock 
eb detektiert wurde. Fails dies der Fails ist. wird eine Quantisierung gem^B der Beziehung 

10 V,.i = NINT (wk, thki) 

vorgenommen. Wenn kein Edgeblock detektiert wurde, wird jewetis der Absolutbetrag der Spektralkoeffizie- 
nten mit den Waiirnehmbarkeitsschwellwerten thk.i vergliclnen, Werden diese Wahrneiimbarkeits- 
schwellwerte uberschritten. erfolgt ebenfalls eine Quantisierung nach obiger Beziehung. Andernfalls wird die 
Quantisierung Vk.i der Spektralkoeffizienten auf 0 gesetzt. Dieser ProzeiS wird so lange durchgefuhrt, bis alle 

IS Spektralkoeffizienten quantisiert sind. 

Der Ablauf der Transmission Coding ist in Fig. 15 dargestellt. Zuerst wird auf das Vorhandensein einer 
Klassennummer-lnformation cn gepruft. Ist eine solche vorhanden. wird eine Entropiecodierung hen = HC 
(cny) gema/3 den Codiertabellen nacli Fig, 16 - Entropiecodierung fUr die Luminanzkomponente Y in 
Abliangigkeit der Klassennummer cny-, Fig. 17 - Entropiecodierung fur die Chromakomponente I in 

20 Abhangigkeit der Klassennummer cni -und Rg. 18 - Entropiecodierung fUr die Chromakomponente Q rn 
Abhangigkeit der Klassennummer cnQ -vorgenommen. 

Wird keine Klassennummer-lnformation festgestellt, wird untersucht. ob DC Oder AC-Koefffzlenten Vdc 
Oder Vac vorliegen. Beim Auftreten von AC-Koeffizienten wird nach der Beziehung 

hac = HC (Vac) 

25 codiert. Die zugehdrige Codiertabelle zeigt Fig. 19. Fur die AC-Koeffizienten sind die AbsolutbetrSge der 
Amplitudenwerte angegeben. Es wird eine Hufmann-Codierung verwendet 
Beim Auftreten von DC-Koeffizienten wird eine zweidimensionale PrSdiktion 



35 vorgenommen, wie in Fig. 4 dargestellt. Die zugehorigen PrSdiktionskoeffizienten wurden bereits im 
Zusammenhang mit Fig. 5 eriautert. Nach der PrSdiktion erfolgt eine Berechnung gemSjS: 

A - NINT (v'dc) - dc 
mit dc = 

Die Codierung 
^ hdc = HC ( A ) 

wird gemai3 der Codiertabelle nach Rg. 20 vorgenommen. die die PrSdiktionswertcodlerung fGr I und Q 
Komponenten zeigt. 

Nachdem alle Blocke codiert sind, wird von der eigentUchen Obertragung noch ein© 
Obertragungsaufbereitung vorgenommen, d.h. eine Zusammenfassung aller codierten Daten zu ^nem 
45 kontinulerlichen Datenstrom (Transmission Sequenzing). Dazu k5nnen Qbliche Multiplextechniken herange- 
zogen werden. 

Zur Decodierung der Bilddaten auf der Empfangsselte sind die zuvor aufgetuhrten MaiSnahmen invers 
auszufQhren - Inverse DCT, Decodierung gem^jB den angefUhrten Codiertabellen, 



AnsprUche 

1. Verfahren zur Codierung von Bildsignalen unter Verwendung einer diskreten Transformation, bei- 
spielsweise der Diskreten Cosinus Transformation (DCT) zur Bildung von Spektralkoeffizienten, wobei 
Kantenstrukturen festgestellt werden und eine visuelle Wahrnehmbarkeits-Schwellwertentscheidung vorge- 
nommen wird, gekennzeichnet durch folgende MaiSnahmen: 

- blockweises Aufspaiten der Spektralkoeffizienten in Gleich-und Wechselanteile, wobei die Gleichanteile 
jeweils mitttere Heliigkeitswerte bezuglich der Luminanzkomponente und mittlere FarbsSttigungswerte 



7 



0 283 715 



bezuglich der Chromakomponenten fur jeden Block von Spektralkoeffizienten darstellen und die Wechsela- 
nteile die jeweiligen ortlichen Abweichungen von diesen mi'ttleren Werten innerhalb eines Blockes bilden. 

- Steuern der Schwellwertentscheidung bezuglich der Wechselanteile im Sinne einer Schwellenreduzierung 
bei der Schwellwertentscheidung, wenn Kantenstrukturen festgestellt warden. 

5 - Quantisieren der durch die gesteuerte Schwellwertentscheidung erhaltenen Signale sowie der Glelcha- 
nteile. 

- Ermittein von Pradiktionsfehlern fur die quantisierten Gleichantelie. 

- Aufbereiten von Ubertragungsdaten durch Codieren der quantisierten Pradiktionsfehier fur die Gleicha- 
nteile und Codieren der quantisierten Wechselanteile im Sinne einer Entropiecodierung. 

10 2. Verfahren nach Anspruch 1 . gekennzeicnnet durch 

- Aufbereiten von Zusatziibertragungsdaten. wobei diese Zusatzubertragungsdaten aus Informationen uber 
die Zugehorigkeit der Spektralkoeffizienten eines Blockes zu vorher festgelegten Klassen bestehen, 

• Ausdunnen der Obertragungsdaten anhand der Informationen uber die Zugehorigkeit der Spektralkoeffizie- 
nten zu Klassen derart. dai3 die Ubertragungsdaten nur jene Spektralkoeffizienten in einem Block 
75 berucksichtigen, die zu einer festgelegten Klasse gehoren. 
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Block Decomposition 
X|j = BC { cc , bn, N) 



Discrete Cosinus Transform 

. w, , = OCT (x. .} ; 
k.l i.j 



DC 




Edge Detection 
eb = ED (x. .) 

* • J 
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Spectral Tl 
sth,j cTR{th,^ 


nresholding 
l.w^j,cc,eb) 






Classification 
cn^^ = CL (sth,^ J , cc) 






Block Quantisition 






Transmission Coding 

h . TC (v^^j ,cn^^,cc) 
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Y-Komponente th^ ^ (0,Y] 
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